AI Papers Daily

#LLM routing

5 篇

Learning the Cost of Reliable Inference

学习可靠推理成本：LLM采购路由机制

🧭 LLM 采购路由 · 拍卖机制设计

Max Planck Institute for Software Systems

设计基于反向第二价格拍卖的LLM路由平台，在保证质量阈值下动态选择成本最优供应商，节省10%-71%成本

📌 工作参考价值（4 点）

• 在电商/广告多模型路由中，可借鉴“质量阈值+成本竞标”框架：平台先定义业务质量指标（如转化率、准确率），各模型/供应商按成本投标，路由时只选满足阈值且报价最低的，避免固定价格浪费。
• 反向第二价格拍卖的激励相容设计可迁移到内部多模型/多服务核算：让各团队或供应商按真实边际成本报价，平台按次低价结算，能诱导真实成本暴露，优化全局预算分配。
• 实验结果（价差10-71%）说明按任务动态选择比固定定价省大量成本，可在推理网关/Agent工具调用中维护模型质量估计与成本表，实时切换。
• 注意：平台需在线学习质量，可采用Bandit或贝叶斯更新，将质量不确定性与成本竞标结合，不能仅靠一次性评估。

Other | 2026-09-23 | cs.LG | score 7/10

LLM routingreverse auctioncost estimationquality thresholdmarketplace

SWRouter: Similarity-Contractive Window Routing for Multi-Turn Large Language Model Conversations

SWRouter：面向多轮大语言模型对话的相似度收缩窗口路由

🧭 多轮LLM路由与上下文构建

Shanghai Jiao Tong University · Baidu Inc. · Wilfrid Laurier University · The Hang Seng University of Hong Kong · York University

提出相似度收缩窗口的上下文分段与双指标评估，多轮路由准确率较最佳单模型提升16.26%

📌 工作参考价值（4 点）

• 多轮对话/客服Agent中的模型路由不能简单沿用单轮特征；需要显式设计历史上下文的切割与保留。文中相似度收缩窗口的思路可直接用于对话状态上下文管理：按语义相似度而非固定轮数滑动窗口，降低历史信息混淆与冗余。
• 评估路由策略时，建议将上下文构建质量与路由决策解耦，采用双指标评测；否则上下文构建差会掩盖路由器的真实能力，这在线上A/B测试中容易误判。
• 对电商导购/搜索多轮Agent，可在多模型池（大模型、小模型、领域模型）上实现基于上下文分段的路由，降低长会话长尾token成本和延迟，同时保持回复质量。
• 工程实现上，相似度分割可以通过现成embedding+阈值/聚类实现，轻量，适合在线服务；无须训练路由器，可先行试点。

LLM | 2026-09-10 | cs.IR | score 6/10

LLM routingmulti-turn dialoguecontext segmentationevaluation frameworksimilarity-contractive window

Online Learning with LLM Experts from Limited Feedback

有限反馈下面向 LLM 专家的在线路由学习

🧭 LLM 路由 · 在线 bandit 学习

Virginia Tech · Adobe Research

将多 LLM 路由建模为有限反馈 bandit，给出 full-info 与 bandit 设置下的次线性遗憾界及路由算法

📌 工作参考价值（4 点）

• 在电商搜索/推荐 Agent 链路中，多个 LLM 承担意图识别、query 改写、商品文案生成等任务时，可把路由建模为上下文 bandit：action 是候选 LLM，d 维特征直接复用现有 prompt/query embedding，reward 用点击率、转化率或人工审核通过率。
• 反馈预算 m 通常远小于流量 T；该文的 regret 界（full-info O(dT/√m)、bandit O(dT√(K/m))）说明只需对少量流量进行人工评估或用户反馈采集，就能保证学习效率，可据此设计稀疏反馈采集机制。
• 当候选模型能力/成本差异大且无全局最优时（文中 win rates 仅 0.073-0.319），动态路由比固定使用最强模型更优；上线前可先做离线 win rate 分析模型互补性，再用 bandit 路由做在线调优。
• 若业务已有较完整的反馈日志，可先采用 full-information 变体快速冷启动；后续切换 bandit 决策降低标注成本。

LLM | 2026-09-04 | HF Daily | score 7/10

LLM routingonline learningbanditlimited feedbackregret minimization

Resample or Reroute? Budget-Aware Test-Time Model Selection for Large Language Models

重采样还是重路由？LLM测试时模型选择的预算分配策略

🧭 测试时模型选择与预算分配

提出在线策略 RoR，在单查询成本预算下动态分配重采样与重路由，最大化正确性。

📌 工作参考价值（4 点）

• 电商搜索/推荐场景中若调用多尺寸 LLM，可借鉴 RoR 动态分配预算：对简单查询用廉价模型多次采样求一致，对困难查询路由到强模型，避免固定级联或 Best-of-K 的浪费。
• 使用边际正确性增益估计驱动在线决策，比静态规则更能适应查询难度分布的变化，适合后台异步或实时生成广告文案、商品摘要等场景。
• 验证器质量是关键：文中用一致性投票或弱验证器仍有效，提示我们可以用业务指标（点击率、转化率）离线训练轻量级验证器来指导在线分配，但验证器退化时收益消失，需持续监控。
• 工程上可利用已有模型池和多路采样，实现一个 meta-controller 层，对每条请求在重采样次数与路由目标间做动态决策，提升整体成本-质量帕累托前沿。

LLM | 2026-07-09 | cs.LG | score 6/10

LLM routingbudget-awareresamplingreroutingtest-time computeverifier

Learning to Assign Prediction Tasks to Agents with Capacity Constraints

容量约束下为异构代理在线分配预测任务

🧭 Agent上下文任务分配与在线优化 ★ 深度解读

University of California, Irvine

提出在线上下文多臂赌博框架，在代理容量约束下动态学习其专长并路由任务，显著优于非上下文基线

📌 工作参考价值（4 点）

• 在电商客服/专家系统路由中，可以将不同技能的人工客服和AI客服视为异构代理，利用在线上下文学习（如用户意图、商品品类）分配任务，同时通过虚拟队列强制满足每个代理的工作量上限，防止过载。
• 在多LLM推荐生成场景中，各LLM对不同类目或用户群体的表现存在差异，可借鉴在线树模型估计上下文奖励，结合队列惩罚项（at = arg max(μ_a(x_t) - η Q_t,a)）实现轻量级路由，满足API调用容量限制。
• 工程实现上，贪婪策略在容量约束下已具有与汤普森采样相当的探索效果，可降低在线推理的复杂度；虚拟队列机制简单易集成，适合实时决策。
• 核心洞察：当代理的专长在上下文中互补时，联合策略可以超越单个最佳代理的边际性能，这是仅靠离线或非上下文路由无法捕获的，为“人机互补”或“多模型路由”提供了理论支撑。

Agent | 2026-05-27 | cs.HC | score 10/10

task assignmentcapacity constraintscontextual banditsonline learninghuman-AI collaborationLLM routing